近年来，深度神经网络在各种应用领域中都有广泛的成功。但是，它们需要重要的计算和内存资源，严重阻碍其部署，特别是在移动设备上或实时应用程序。神经网络通常涉及大量参数，该参数对应于网络的权重。在培训过程中获得的这种参数是用于网络性能的决定因素。但是，它们也非常冗余。修剪方法尤其试图通过识别和移除不相关的重量来减小参数集的大小。在本文中，我们研究了培训策略对修剪效率的影响。考虑和比较了两种培训方式：（1）微调和（2）从头开始。在四个数据集（CIFAR10，CiFAR100，SVHN和CALTECH101）上获得的实验结果和两个不同的CNNS（VGG16和MOBILENET）证明已经在大语料库（例如想象成）上预先培训的网络，然后进行微调特定数据集可以更有效地修剪（高达80％的参数减少），而不是从头开始培训的相同网络。

在神经网络中引入稀疏性是一种有效的方法，可以降低其复杂性，同时保持其性能几乎完好无损。在大多数情况下，使用三阶段管道引入稀疏性：1）训练模型以收敛，2）根据某些标准修剪模型，3）微调修剪模型以恢复性能。最后两个步骤通常是迭代执行的，从而导致合理的结果，但也取得了耗时且复杂的过程。在我们的工作中，我们建议摆脱管道的第一步，并在单个修剪训练周期中结合其他两个步骤，从而使模型在修剪时共同学习最佳权重。我们通过介绍一个名为One Cycle Pruning的小说修剪时间表来做到这一点，该时间表从培训开始就开始修剪，直到最后。采用这样的时间表不仅可以更好地执行修剪模型，而且还大大降低了修剪模型所需的培训预算。实验是在多种架构（VGG-16和RESNET-18）和数据集（CIFAR-10，CIFAR-100和CALTECH-101）上进行的，以及相对较高的稀疏值（80％，90％，95％的权重，删除）。我们的结果表明，按固定的培训预算，一环修剪始终优于通常使用的修剪时间表，例如单发修剪，迭代修剪和自动化逐渐修剪。

In the past years, deep learning has seen an increase of usage in the domain of histopathological applications. However, while these approaches have shown great potential, in high-risk environments deep learning models need to be able to judge their own uncertainty and be able to reject inputs when there is a significant chance of misclassification. In this work, we conduct a rigorous evaluation of the most commonly used uncertainty and robustness methods for the classification of Whole-Slide-Images under domain shift using the H\&E stained Camelyon17 breast cancer dataset. Although it is known that histopathological data can be subject to strong domain shift and label noise, to our knowledge this is the first work that compares the most common methods for uncertainty estimation under these aspects. In our experiments, we compare Stochastic Variational Inference, Monte-Carlo Dropout, Deep Ensembles, Test-Time Data Augmentation as well as combinations thereof. We observe that ensembles of methods generally lead to higher accuracies and better calibration and that Test-Time Data Augmentation can be a promising alternative when choosing an appropriate set of augmentations. Across methods, a rejection of the most uncertain tiles leads to a significant increase in classification accuracy on both in-distribution as well as out-of-distribution data. Furthermore, we conduct experiments comparing these methods under varying conditions of label noise. We observe that the border regions of the Camelyon17 dataset are subject to label noise and evaluate the robustness of the included methods against different noise levels. Lastly, we publish our code framework to facilitate further research on uncertainty estimation on histopathological data.

Retrieval-augmented in-context learning has emerged as a powerful approach for addressing knowledge-intensive tasks using frozen language models (LM) and retrieval models (RM). Existing work has combined these in simple "retrieve-then-read" pipelines in which the RM retrieves passages that are inserted into the LM prompt. To begin to fully realize the potential of frozen LMs and RMs, we propose Demonstrate-Search-Predict (DSP), a framework that relies on passing natural language texts in sophisticated pipelines between an LM and an RM. DSP can express high-level programs that bootstrap pipeline-aware demonstrations, search for relevant passages, and generate grounded predictions, systematically breaking down problems into small transformations that the LM and RM can handle more reliably. We have written novel DSP programs for answering questions in open-domain, multi-hop, and conversational settings, establishing in early evaluations new state-of-the-art in-context learning results and delivering 37-200%, 8-40%, and 80-290% relative gains against vanilla LMs, a standard retrieve-then-read pipeline, and a contemporaneous self-ask pipeline, respectively.

Neural information retrieval (IR) systems have progressed rapidly in recent years, in large part due to the release of publicly available benchmarking tasks. Unfortunately, some dimensions of this progress are illusory: the majority of the popular IR benchmarks today focus exclusively on downstream task accuracy and thus conceal the costs incurred by systems that trade away efficiency for quality. Latency, hardware cost, and other efficiency considerations are paramount to the deployment of IR systems in user-facing settings. We propose that IR benchmarks structure their evaluation methodology to include not only metrics of accuracy, but also efficiency considerations such as a query latency and the corresponding cost budget for a reproducible hardware setting. For the popular IR benchmarks MS MARCO and XOR-TyDi, we show how the best choice of IR system varies according to how these efficiency considerations are chosen and weighed. We hope that future benchmarks will adopt these guidelines toward more holistic IR evaluation.

We present MegaBlocks, a system for efficient Mixture-of-Experts (MoE) training on GPUs. Our system is motivated by the limitations of current frameworks, which restrict the dynamic routing in MoE layers to satisfy the constraints of existing software and hardware. These formulations force a tradeoff between model quality and hardware efficiency, as users must choose between dropping tokens from the computation or wasting computation and memory on padding. To address these limitations, we reformulate MoE computation in terms of block-sparse operations and develop new block-sparse GPU kernels that efficiently handle the dynamism present in MoEs. Our approach never drops tokens and maps efficiently to modern hardware, enabling end-to-end training speedups of up to 40% over MoEs trained with the state-of-the-art Tutel library and 2.4x over DNNs trained with the highly-optimized Megatron-LM framework.

噪声的去除或取消对成像和声学具有广泛的应用。在日常生活中，Denoising甚至可能包括对地面真理不忠的生成方面。但是，对于科学应用，denoing必须准确地重现地面真相。在这里，我们展示了如何通过深层卷积神经网络来定位数据，从而以定量精度出现弱信号。特别是，我们研究了晶体材料的X射线衍射。我们证明，弱信号是由电荷排序引起的，在嘈杂的数据中微不足道的信号，在DeNo的数据中变得可见和准确。通过对深度神经网络的监督培训，具有成对的低噪声数据，可以通过监督培训来实现这一成功。这样，神经网络就可以了解噪声的统计特性。我们证明，使用人造噪声（例如泊松和高斯）不会产生这种定量准确的结果。因此，我们的方法说明了一种实用的噪声过滤策略，可以应用于具有挑战性的获取问题。

Google，Amazon和Microsoft等提供商提供的商业ML API已在许多应用程序中大大简化了ML的采用。许多公司和学者都为使用ML API用于对象检测，OCR和情感分析等任务。处理相同任务的不同ML API可能具有非常异构的性能。此外，API的基础模型也随着时间的推移而发展。随着ML API迅速成为一个有价值的市场，并且是消耗机器学习的广泛方式，因此系统地研究和比较不同的API并表征API随时间变化的方式至关重要。但是，由于缺乏数据，目前该主题目前没有被忽视。在本文中，我们介绍了HAPI（API的历史），该数据集由1,761,417个商业ML API应用程序（涉及来自亚马逊，Google，IBM，Microsoft和其他提供商的API），包括图像标签，文本识别和文本识别和文本识别和文本，从2020年到2022年的挖掘。每个实例都由API的查询输入（例如图像或文本）以及API的输出预测/注释和置信分数组成。 HAPI是ML API使用情况的第一个大型数据集，并且是研究ML-AS-A-Service（MLAAS）的独特资源。作为HAPI启用的分析类型的示例，我们表明ML API的性能会随着时间的流逝而大幅变化 - 在特定基准数据集上删除了几个API的精度。即使API的汇总性能保持稳定，其误差模式也可以在2020年至2022年之间在不同的数据子类型中转移。这种更改可能会大大影响使用某些ML API作为组件的整个分析管道。随着时间的流逝，我们进一步使用HAPI研究人口亚组的商业API绩效差异。 HAPI可以刺激MLAA的不断发展领域的更多研究。

部署的机器学习（ML）模型经常遇到与培训数据不同的新用户数据。因此，估计给定模型在新数据上的性能是朝着可靠的ML应用程序迈出的重要一步。但是，这是非常具有挑战性的，因为数据分布可以以灵活的方式变化，并且我们可能没有新数据上的任何标签，这在监视设置时通常是这种情况。在本文中，我们提出了一种新的分配移位模型，即稀疏关节移位（SJS），该模型考虑了标签和一些特征的关节移位。这统一并概括了几种现有的偏移模型，包括标签移位和稀疏协变量移位，仅考虑边际特征或标签分布位移。我们描述了SJS可识别的数学条件。我们进一步提出了See，这是一个算法框架，以表征SJS下的分布变化，并估计模型在没有任何标签的新数据上的性能。我们在具有各种ML模型的几个现实世界数据集上进行了广泛的实验。在不同的数据集和分配变化中，看到对现有方法的误差改善（最多达到数量级）的显着（最多）。

集成开发环境（IDE）提供工具支持，以自动化许多源代码编辑任务。传统上，IDE仅使用空间上下文，即开发人员正在编辑的位置来生成候选编辑建议。但是，仅空间上下文通常不足以自信地预测开发人员的下一个编辑，因此IDE在某个位置会产生许多建议。因此，IDE通常不会主动提供建议，而是需要单击特定图标或菜单，然后从大量潜在建议列表中进行选择。结果，开发人员通常会错过使用工具支持的机会，因为他们不知道它存在或忘记使用它。为了更好地理解开发人员行为中的常见模式并产生更好的编辑建议，我们还可以使用时间上下文，即开发人员最近执行的编辑。为了启用基于时间上下文的编辑建议，我们提出了《守望先锋》，这是一种从IDE中执行的开发人员编辑痕迹学习编辑序列模式的新颖技术。我们的实验表明，《守望先锋》具有78％的精度，守望先锋不仅完成了开发人员错过使用IDE工具支持的机会，而且还预测了在IDE中没有工具支持的新编辑。